#multi-token prediction

3 篇

Large Flow Language Models

大规模流语言模型：连续流实现并行生成与自推测加速

🧭 连续流语言模型 · 块并行解码加速

UC Berkeley · Amazon · KAIST · Carnegie Mellon University

Lafa 8B 连续流语言模型用 <30B token 训练达到 AR 质量，并以自推测解码实现 2.54 倍吞吐

📌 工作参考价值（4 点）

连续流语言模型可直接适配预训练 AR 模型，只用不到 30B token 训练即可达到匹配或更好的指令跟随/推理/编码质量，对业务中已有 LLM 的低成本改造有参考价值；在搜索 query 生成、广告文案生成等高吞吐场景，可将 AR 模型转为流式并行解码。
自推测解码方案用同一模型生成流式草稿并自回归验证，无需额外 draft 模型，相较 multi-token prediction 和离散扩散方法吞吐提升显著（2.54 倍），可直接用于线上推理降本。
blockwise 流建模 + prefix caching + 块并行解码的组合可以作为工程参考：前缀因果注意力保证与 AR 的兼容性，块内双向异步流提升并行度，适合生成式推荐的 prompt 长、重复前缀多的场景。
流训练带来的 multi-token prediction 效应能保留甚至提升预训练 AR 能力，说明可以在业务微调阶段引入流训练做能力增强，而不只是推理加速。

LLM | 2026-10-19 | HF Daily | score 7/10

基于变分解码的并行语言模型

🧭 并行解码 · 变分推断 · LLM 推理加速 ★ 深度解读

University of California, Irvine · ETH Zurich · Charité Berlin · Hasso Plattner Institute

用潜变量路由 token 间依赖，单次前向生成多个一致 token，实现接近自回归质量的 2.3-5.7 倍推理加速

📌 工作参考价值（4 点）

在线 LLM 服务加速：如果业务中大量调用 LLM 做搜索 query 改写、导购 Agent、商品文案生成，可尝试把现有 AR 模型改造成 PLM 风格的 block-parallel decoder；通过 β 调节质量/吞吐，SFT 时只对 response token 计算损失，保留 prompt 作为 context，直接复用到指令跟随与对话场景。
辅助变量 / Semantic ID 设计：Geometry-aware auxiliaries 使用 embedding 空间的加权 V oronoi 划分而非词表顺序，对生成式推荐中的 Semantic ID 构建有直接启发：用 item embedding 聚类/划分 codebook，比随机 ID 更保留语义，也能提高解码确定性。
偏好对齐可复用：PLM 的 DPO 用 response-restricted composite score 并做 length normalization，同时优化 AR encoder 与 parallel decoder；在电商 Agent 的 RLHF / DPO 流程中可以借鉴，避免并行解码分支在偏好优化后掉点。
工程验证点：relaxed speculative acceptance 相比严格 speculative decoding 接受率平均提升 46.5%，质量损失小；若迁移到 vLLM 服务，建议先在小参数模型上验证 2-5× QPS 提升，确认长 context、beam search 与自定义 attention mask 的兼容性。

LLM | 2026-10-19 | cs.CL | score 8/10

迈向通用且高效的大规模生成式推荐系统

🧭 生成式推荐 · 大规模生产优化 ★ 深度解读

Netflix Research

在10亿参数生成式推荐模型中，用任务相关缩放法则、多token预测和语义塔解决了规模化后的效果迁移与工程效率难题。

📌 工作参考价值（4 点）

任务相关的缩放法则作为资源分配指南：不同推荐任务的预测难度与天花板差异极大，直接用 MRR 拟合偏移幂律可量化剩余 headroom，指导模型容量投入——若任务已接近天花板，应转向优化目标函数或对象表示，而非盲目扩大 backbone。
多 token 预测对齐缓存服务延迟：电商推荐中常因在线排序延迟而使用缓存，导致 next-token 目标在服务时已失效。MTP 用带时间衰减的多目标加权标签训练，在 48 小时延迟下 MRR 提升 20%+，可直接用于离线与近线推理的标签构造，且不增加线上推理成本。
语义塔与协同嵌入掩码协同处理冷启动：新物品缺乏 ID 嵌入时，通过共享的多模态语义塔（知识图谱、LLM 文本嵌入、人工标签）构建物品向量，并在训练时按比例随机掩码协同嵌入为 OOV 嵌入，使解码器学会平衡 ID 与语义信号。电商新品上架可直接复用该范式。
轻量级解码效率方案：用 1% 均匀采样负样本的 sampled softmax 加 d/8 投影头，在不改 backbone 前提下可大幅降低训练 FLOPs（如 10^6 输出空间下降 35 倍），支持万亿级行为 token 的频繁重训练，工程实现简单且与 SID 等方法正交。

RecSys | 2026-05-22 | cs.IR | score 10/10